Thời Hán Văn Đế, vua nghe tiếng ông là người hiền bèn cho mời vào, muốn cho làm Ngự sử đại phu. Quý Bố đến kinh thành Lạc Dương, ở tại nhà khách xá một tháng chờ đợi. Lại có người nói ông là người mạnh mẽ, khi đã say thì bướng bỉnh khó gần. Vì vậy Hán Văn Đế bãi chức thái thú Hà Đông của ông. Quý Bố bèn vào gặp Hán Văn Đế thưa rằng:

"Thần không có công lao. Trộm được bệ hạ thương đến, chờ tội ở Hà Đông, bệ hạ vô cớ gọi thần, chắc là có người lừa dối bệ hạ về thần. Nay thần đến, không được làm việc gì lại bãi miễn mà về. Điều này chắc là có người gian thần. Bệ hạ vì một người khen mà gọi thần đến, lại vì một người chê mà cho thần đi, thần sợ những người có kiến thức trong thiên hạ nghe thế có thể dò biết bệ hạ là người như thế nào."

Hán Văn Đế xấu hổ, im lặng rồi phục chức cho ông về Hà Đông.

Em trai Quý Bố là Quý Tâm nổi tiếng dũng cảm nhất Quan Trung, đối đãi với người ta rất cung kính, cẩn thận, tính nghĩa hiệp. Hai anh em nổi tiếng ở kinh kỳ vì một người về dũng cảm, một người về tín cẩn trong ngôn ngữ. Người đời lúc đó truyền tụng nhau câu: "Được trăm cân vàng không bằng một lời hứa của Quý Bố"[1].

Sau này không rõ Quý Bố mất năm nào. Ông sống từ thời Tần tới thời Hán Văn Đế, hoạt động trong khoảng hơn 30 năm.